Atribución invariante a desplazamientos en KANs con Shapley
ShapKAN usa el valor de Shapley para podar redes Kolmogorov-Arnold de forma invariante a desplazamientos, mejorando interpretabilidad y compresión.
#compresión de redes
TWLA: Cuantización post-entrenamiento pesos ternarios y activaciones de bajo bit
Descubre cómo TWLA, mediante cuantización post-entrenamiento, reduce el tamaño y acelera la inferencia de LLMs usando pesos ternarios y activaciones de 4 bits.
Sigma-Branch: Red Jerárquica para Inferencia Dinámica con Parámetros Reducidos
Sigma-Branch: nueva técnica de inferencia dinámica que reduce parámetros activos un 60% en edge, sin perder precisión.
Aproximaciones neuronales certificadas de dinámicas no lineales
Nuevo método adaptativo certifica redes neuronales para dinámicas no lineales con cotas de error formales, superando al estado del arte. Ideal para sistemas críticos.
GPTQ-intrinsic LoRA: Cuantización de baja precisión con adaptación de bajo rango
GPTQ-intrinsic LoRA: mejora la cuantización de baja precisión con corrección de bajo rango. Algoritmo casi óptimo para modelos grandes.
GPTQ-intrinsic LoRA: algoritmo cuasióptimo para cuantización y adaptación de bajo rango
GPTQ-intrinsic LoRA combina cuantización de baja precisión y adaptación de bajo rango para comprimir redes neuronales. Algoritmo sin entrenamiento mejora modelos como Qwen3 y DeiT.
Compresión de redes neuronales mediante equivalencia diferencial aproximada
Aprende a comprimir redes neuronales agrupando neuronas por equivalencia diferencial. Reduce parámetros sin perder precisión, alternativa eficaz.